Many researchers have voiced their support towards Pearl's counterfactual theory of causation as a stepping stone for AI/ML research's ultimate goal of intelligent systems. As in any other growing subfield, patience seems to be a virtue since significant progress on integrating notions from both fields takes time, yet, major challenges such as the lack of ground truth benchmarks or a unified perspective on classical problems such as computer vision seem to hinder the momentum of the research movement. This present work exemplifies how the Pearl Causal Hierarchy (PCH) can be understood on image data by providing insights on several intricacies but also challenges that naturally arise when applying key concepts from Pearlian causality to the study of image data.

文本到图像模型最近通过光合现实质量看似准确的样本取得了巨大的成功。但是，随着最先进的语言模型仍在努力评估精确陈述，基于语言模型的图像生成过程也是如此。在这项工作中，我们展示了最先进的文本对图像模型（例如Dall-e）的问题，并通过与Draw基准基准相关的语句生成准确的样本。此外，我们表明剪辑无法始终如一地重新读取这些样品。为此，我们提出了Logicrank，这是一种神经符号推理框架，可以为这种精确要求设置提供更准确的排名系统。Logicrank平稳地集成到文本到图像模型的生成过程中，而且可以用于进一步调整更逻辑的精确模型。

自动化机器学习（AUTOML）是使机器学习模型被广泛应用于解决现实世界问题的重要步骤。尽管有许多研究的进步，但机器学习方法主要由于其数据隐私和安全法规而尚未完全被行业利用，因此在中心位置存储和计算增加数据量的高成本以及最重要的是缺乏专业知识。因此，我们介绍了一个新颖的框架，hanf -$ \ textbf {h} $ yperparameter $ \ textbf {a} $ nd $ \ textbf {n} $ earural架构搜索$ \ textbf {f}为在几个数据所有者服务器上分布的数据建立一个自动框架，而无需将数据带到中心位置。 HANF使用基于梯度的神经体系结构搜索和数据分布式设置中分别使用基于梯度的神经体系结构搜索和$ n $ armed Bandit方法来共同优化学习算法的神经体系结构和非构造超参数。我们表明，HANF有效地找到了优化的神经体系结构，并在数据所有者服务器上调整了超参数。此外，HANF可以在联合和非填充设置中应用。从经验上讲，我们表明HANF使用图像分类任务收敛于合适的体系结构和非架构高参数集。

线性程序（LPS）一直是机器学习的基础之一，并在学习系统的可区分优化器中获得了最新进步。尽管有用于高维LP的求解器，但理解高维解决方案带来了正交和未解决的问题。我们介绍了一种方法，我们考虑了LPS的神经编码，这些神经编码证明了为神经学习系统设计的可解释人工智能（XAI）的归因方法的应用。我们提出的几个编码功能都考虑到了方面，例如决策空间的可行性，附加到每个输入的成本或与特殊点的距离。我们研究了几种XAI方法对所述神经LP编码的数学后果。我们从经验上表明，归因方法的显着性和石灰揭示了无法区分的结果，直到扰动水平，一方面，我们提出了定向性的属性，这是显着性和石灰之间的主要判别标准，另一方面是基于扰动的特征置换方法。 。定向性指示归因方法是否给出了该功能增加的特征归因。我们进一步注意到集成梯度的经典计算机视觉设置之外的基线选择问题。

Foundation models are subject to an ongoing heated debate, leaving open the question of progress towards AGI and dividing the community into two camps: the ones who see the arguably impressive results as evidence to the scaling hypothesis, and the others who are worried about the lack of interpretability and reasoning capabilities. By investigating to which extent causal representations might be captured by these large scale language models, we make a humble efforts towards resolving the ongoing philosophical conflicts.

迄今为止，邦加德问题（BP）仍然是AI历史的少数要塞之一，尚未受到当前时代强大的模型的突袭。我们使用因果关系与AI/ML的交集的现代技术进行了系统的分析，以恢复BPS的研究。具体而言，我们首先将BPS汇编成马尔可夫决策过程，然后在辩论其适用于BPS的数据生成过程上构成因果假设，并最终应用强化学习技术来解决受因果假设的BPS。

模拟在机器学习中无处不在。特别是在图形学习中，正在部署定向无环图（DAG）的模拟以评估新算法。在文献中，最近有人认为，诸如宣传之类的结构发现的连续优化方法可能正在利用该变量在可用数据中的可分解性，因为它们使用了最小的正方形损失。具体而言，由于结构发现是科学及其他方面的关键问题，因此我们希望对用于测量数据的量表不变（例如，仪表和厘米不应影响算法推断出的因果方向）。在这项工作中，我们通过证明在多变量案例中的关键结果并通过进一步的经验证据来进一步加强了这一初始的，负面的经验建议。特别是，我们表明我们可以通过目标方差攻击来控制所得图，即使在我们只能部分操纵数据方差的情况下。

最近有一个努力使机器学习模型更加可解释，以便可以信任他们的性能。尽管成功，但这些方法主要集中在深度学习方法上，而机器学习中的基本优化方法（例如线性程序（LP））已被排除在外。即使可以将LPS视为白框或Clearbox模型，就输入和输出之间的关系而言，它们也不容易理解。由于线性程序仅为优化问题提供最佳解决方案，因此进一步的解释通常会有所帮助。在这项工作中，我们将解释神经网络的归因方法扩展到线性程序。这些方法通过提供模型输入的相关性分数来解释模型，以显示每个输入对输出的影响。除了使用经典的基于梯度的归因方法，我们还提出了一种将基于扰动的归因方法适应LPS的方法。我们对几种不同的线性和整数问题的评估表明，归因方法可以为线性程序生成有用的解释。但是，我们还证明了直接使用神经归因方法可能会带来一些缺点，因为这些方法在神经网络上的属性不一定会转移到线性程序中。如果线性程序具有多个最佳解决方案，则方法也可能会挣扎，因为求解器只是返回一个可能的解决方案。希望我们的结果可以用作朝这个方向进行进一步研究的好起点。

Neurally-parameterized Structural Causal Models in the Pearlian notion to causality, referred to as NCM, were recently introduced as a step towards next-generation learning systems. However, said NCM are only concerned with the learning aspect of causal inference but totally miss out on the architecture aspect. That is, actual causal inference within NCM is intractable in that the NCM won't return an answer to a query in polynomial time. This insight follows as corollary to the more general statement on the intractability of arbitrary SCM parameterizations, which we prove in this work through classical 3-SAT reduction. Since future learning algorithms will be required to deal with both high dimensional data and highly complex mechanisms governing the data, we ultimately believe work on tractable inference for causality to be decisive. We also show that not all ``causal'' models are created equal. More specifically, there are models capable of answering causal queries that are not SCM, which we refer to as \emph{partially causal models} (PCM). We provide a tabular taxonomy in terms of tractability properties for all of the different model families, namely correlation-based, PCM and SCM. To conclude our work, we also provide some initial ideas on how to overcome parts of the intractability of causal inference with SCM by showing an example of how parameterizing an SCM with SPN modules can at least allow for tractable mechanisms. We hope that our impossibility result alongside the taxonomy for tractability in causal models can raise awareness for this novel research direction since achieving success with causality in real world downstream tasks will not only depend on learning correct models as we also require having the practical ability to gain access to model inferences.

结合神经网络的鲁棒性的目标和象征方法的表征性地重新称为神经象征性AI的兴趣。神经象征性AI的最近进步通常考虑由不相交的神经和符号组件组成的专门定制架构，因此不能表现出所需的增益，这通过将它们集成到统一框架中可以实现。我们介绍斜杠 - 一种新颖的深层概率编程语言（DPPL）。在其核心，斜杠由神经概率谓词（NPPS）和逻辑节目组成，通过答案集编程团结一致。由NPPS产生的概率估计用作逻辑程序和原始输入数据之间的绑定元素，从而允许斜杠来应答任务依赖的逻辑查询。这允许斜杠在统一的框架中优雅地集成符号和神经组件。我们评估Mnist加法的基准数据的斜杠以及DPPLS的新任务，例如缺少数据预测和与最先进的性能设置预测，从而显示了我们方法的有效性和一般性。